Ý tưởng về tên lửa liên lục địa manh nha trong dự án A9/10 của Đức do nhà khoa học Wernher von Braun đề xuất nhưng không bao giờ được phát triển. Von Braun cũng là người thiết kế tên lửa V-2 của nước Đức quốc xã, tiền thân của tên lửa đạn đạo tầm trung sau này. V-2 là tên lửa sử dụng nhiên liệu lỏng và hệ thống dẫn đường theo quán tính, được phóng từ các bệ phóng di động để tránh không quân phe Đồng minh tấn công.

Sau Thế chiến thứ hai, von Braun cùng nhiều nhà khoa học của Đức khác được bí mật đưa sang Hoa Kỳ và làm việc cho quân đội Mỹ trong chương trình cải tiến tên lửa V-2 thành các tên lửa tầm trung Redstone và Jupiter. Nhờ các hiệp ước liên minh quân sự, Hoa Kỳ có thể bố trí tên lửa tầm trung ở các quốc gia lân cận Liên Xô, đặt lãnh thổ Liên Xô trong tầm bắn của các vũ khí hạt nhân.

Chương trình phát triển tên lửa liên lục địa của Liên Xô được khởi xướng từ trước Thế chiến thứ hai, tuy vậy, đến những năm 1950, Liên Xô vẫn chưa phát triển thành công. Dưới sự chỉ đạo của tổng công trình sư Sergei Korolev, chương trình này được đẩy mạnh. Korolev có các bộ phận của tên lửa V-2 nhưng ông nhận thấy thiết kế của V2 không đáp ứng yêu cầu của loại tên lửa mới. Ông đã phát triển cấu trúc mới và tên lửa R-7 ra đời, được thử nghiệm tháng 08 năm 1957. Ngày 04 tháng 10 năm 1957, tên lửa này đưa vệ tinh đầu tiên - Sputnik 1, lên quỹ đạo không gian, mở ra kỷ nguyên chinh phục khoảng không vũ trụ của loài người.

Nước Anh xây dựng tên lửa liên lục địa Blue Streak nhưng không bao giờ đưa vào sử dụng bởi khó khăn trong việc chọn căn cứ phóng cách xa các khu dân cư.

Ở Mỹ, cạnh tranh giữa các lực lượng vũ trang thời kỳ này đồng nghĩa với sự phát triển các chương trình tên lửa liên lục địa riêng biệt, làm chậm tiến trình đáng kể. Tên lửa liên lục địa đầu tiên của Mỹ mang tên Atlas ra đời năm 1959. Dù được phát triển sau R-7 hai năm nhưng Atlas vẫn gặp nhược điểm tương tự của R-7 là cần có bệ phóng và các thiết bị hỗ trợ cồng kềnh, điều này làm nó dễ bị phát hiện và tấn công. Mặt khác nhiên liệu lỏng phải được nạp vào tên lửa trước khi bắn, nên càng tốn thời gian và tăng nguy cơ bị tấn công. Các tên lửa liên lục địa đầu tiên chính là các tên lửa vũ trụ. Ví dụ: Atlas, Redtone, Titan, R-7 và Proton là các dự án tên lửa lên lục địa nhưng sau đó chuyển hướng phát triển thành tên lửa vũ trụ. Dưới sự điều hành của Bộ trưởng Quốc phòng Hoa Kỳ Robert McNamara, các lên lửa liên lục địa sử dụng nhiên liệu rắn LGM-30 Minuteman (phóng từ căn cứ đất liền), Polaris (phóng từ tàu ngầm) và Skybolt (phóng từ máy bay) bắt đầu được phát triển. Ngày nay, tên lửa liên lục địa có kích trước nhỏ hơn trước (nhờ tăng tính chính xác, đầu đạn nhỏ, nhẹ hơn), đều sử dụng nhiên liệu rắn và có thể bắn từ bệ phóng đơn giản hơn.

Theo học thuyết chiến lược về Hủy diệt song phương, việc huy động tên lửa liên lục địa sẽ dẫn đến cuộc chiến tranh hạt nhân toàn diện mà cả hai bên tấn công và phòng thủ (rồi phản công) đều bị hủy diệt.

Những năm 1970, việc phát triển các hệ thống phòng thủ chống tên lửa của Hoa Kỳ và Liên Xô đều bị hạn chế bởi thỏa ước nhằm duy trì tính đe dọa của các hệ thống tên lửa liên lục địa. Tổng thống Ronald Reagan phát động các chương trình Phòng thủ Chiến lược chủ động, Tên lửa liên lục địa MX và Midgetman. Động thái này dẫn đến các cuộc đàm phán trong khuôn khổ Hiệp ước giải trừ vũ khí chiến lược.

Những quốc gia đang ở trong giai đoạn phát triển tên lửa liên lục địa đều dùng nhiên liệu lỏng bởi tính đơn giản.